Out of One, Many: Using Language Models to Simulate Human Samples

public.icon

https://gyazo.com/eff2b4166515a5237389ff08f573d607

コメント

ただ、それに代わる「人間」相当の概念を見つけるand/or生み出す事ができれば、全然死なない気はする

Decartographyの期待されている機能をalt人間でも達成できれば良いってこと？

We propose and explore the possibility that language models can be studied as effective proxies for specific human sub-populations in social science research. Practical and research applications of artificial intelligence tools have sometimes been limited by problematic biases (such as racism or sexism), which are often treated as uniform properties of the models. We show that the “algorithmic bias” within one such tool– the GPT-3 language model– is instead both fine-grained and demographically correlated, meaning that proper conditioning will cause it to accurately emulate response distributions from a wide variety of human subgroups. We term this property algorithmic fidelity and explore its extent in GPT-3.

We create “silicon samples” by conditioning the model on thousands of socio-demographic backstories from real human participants in multiple large surveys conducted in the United States. We then compare the silicon and human samples to demonstrate that the information contained in GPT-3 goes far beyond surface similarity. It is nuanced, multifaceted, and reflects the complex interplay between ideas, attitudes, and socio-cultural context that characterize human attitudes. We suggest that language models with sufficient algorithmic fidelity thus constitute a novel and powerful tool to advance understanding of humans and society across a variety of disciplines.

我々は、社会科学研究において、言語モデルを特定の人間の下位集団の効果的なプロキシとして研究することができる可能性を提案し、探求する。人工知能ツールの実用化および研究への応用は、人種差別や性差別といった問題のあるバイアスによって制限されることがあるが、それはしばしばモデルの均一な特性として扱われることがある。我々は、このようなツールの一つであるGPT-3言語モデルの「アルゴリズムの偏り」が、きめ細かく、かつ人口統計学的に相関していることを示す。つまり、適切な条件付けによって、様々な人間のサブグループからの回答分布を正確にエミュレートすることができるのである。この性質をアルゴリズム的忠実性と呼び、GPT-3ではその程度を調べています。

GPT-3では，米国で実施された複数の大規模調査の実際の参加者から得た数千の社会・人口統計学的背景をモデルに適用し，「シリコンサンプル」を作成しました．そして、シリコンサンプルと人間サンプルを比較し、GPT-3に含まれる情報が表面的な類似性をはるかに超えるものであることを実証します。GPT-3に含まれる情報は、ニュアンスに富み、多面的であり、人間の態度を特徴づける考え方、態度、社会文化的背景の間の複雑な相互作用を反映している。このように、アルゴリズムに忠実な言語モデルは、様々な分野で人間と社会の理解を深めるための斬新で強力なツールであることが示唆される。

Introduction

社会的・政治的行動を、LLMによってシミレーションしてみる